Zelfinformatie

Zelfinformatie is de hoeveelheid informatie die kennis over (de uitkomst van) een bepaalde gebeurtenis, toevoegt aan iemands kennis. De hoeveelheid zelfinformatie wordt uitgedrukt in de eenheid van informatie, de bit en is nauw verwant met het begrip entropie (gemiddelde hoeveelheid informatie) uit de informatietheorie.

De hoeveelheid zelfinformatie is per definitie uitsluitend afhankelijk van de kans ${\displaystyle p}$ op die gebeurtenis. En daarbij geldt: hoe kleiner deze kans, hoe groter de zelfinformatie bij het bekend worden dat die gebeurtenis zich voor heeft gedaan.

Verder geldt voor de zelfinformatie per definitie het volgende. Als een gebeurtenis C is samengesteld uit twee van elkaar onafhankelijke gebeurtenissen A en B, dan is de informatie bij bekend worden van C, gelijk aan de som van de informatie bij het bekend worden van gebeurtenis A en gebeurtenis B afzonderlijk.

Rekening houdend met deze randvoorwaarden heeft men de zelfinformatie ${\displaystyle H(A)}$ die behoort bij een gebeurtenis A met kans ${\displaystyle p}$ gedefinieerd als: ${\displaystyle H(A)=\mathrm {^{2}log} (1/p)}$. Door deze definitie, waarin gebruik wordt gemaakt van de logaritmefunctie, is voldaan aan bovengenoemde randvoorwaarden.

De definitie is te herschrijven als:

${\displaystyle H(A)=-\mathrm {^{2}log} (p)}$